El Fracaso de la Exactitud
Aunque un polinomio de alto grado puede pasar por cada punto de datos, a menudo produce oscilaciones "como las de Runge". Estas oscilaciones extremas no tienen nada que ver con el proceso físico subyacente. Por tanto, es poco razonable exigir que la función de aproximación coincida exactamente con los datos, especialmente cuando las mediciones están sujetas a variabilidad.
Definir el 'Mejor' Ajuste: Las Tres Normas
Para aproximar, debemos definir una función de error $E$. Cómo medimos la "proximidad" cambia completamente el resultado:
Buscando minimizar el error máximo posible:
$$E_{\infty}(a_0, a_1) = \max_{1 \le i \le n} \{|y_i - (a_1 x_i + a_0)|\}$$
Peligro: El enfoque minimax suele dar demasiado peso a un dato que está muy equivocado.
La suma de las diferencias absolutas:
$$E_1(a_0, a_1) = \sum_{i=1}^{n} |y_i - (a_1 x_i + a_0)|$$
Peligro: La función valor absoluto no es diferenciable en cero, y es posible que no podamos encontrar soluciones analíticas para este par de ecuaciones.
El estándar en análisis numérico, cuadrando los residuos:
$$E_2(a_0, a_1) = \sum_{i=1}^{n} [y_i - (a_1 x_i + a_0)]^2$$
Esto crea una superficie suave y diferenciable donde el cálculo puede encontrar fácilmente un mínimo global.
Restricciones Analíticas
Elegir una métrica es un equilibrio entre lógica y cálculo. Por ejemplo, el método de desviación absoluta no da suficiente peso a un punto que se aleja considerablemente del ajuste, mientras que $L_2$ proporciona un punto medio robusto que penaliza fuertemente los valores atípicos sin que sea dominado completamente por un solo dato errático.